Tên huyện Từ Sơn có từ thời Trần. Sang thời Hậu Lê, địa danh Từ Sơn được đặt cho một phủ thuộc thừa tuyên Kinh Bắc, gồm các huyện Tiên Du, Yên Phong, Quế Dương, Đông Ngàn, Vũ Ninh; trong đó huyện Đông Ngàn có địa giới tương ứng với thị xã Từ Sơn (Bắc Ninh) và một phần các huyện Đông Anh, Gia Lâm (Hà Nội) ngày nay. Sang thời Nguyễn, phủ Từ Sơn thuộc tỉnh Bắc Ninh.

Sau cách mạng tháng Tám (1945), bỏ cấp phủ, đổi làm huyện Từ Sơn, ban đầu gồm 21 xã: Châu Khê, Đình Bảng, Đình Xuyên, Đông Hội, Đồng Nguyên, Đồng Quang, Đông Thọ, Dục Tú, Dương Hà, Hương Mạc, Liên Hà, Mai Lâm, Ninh Hiệp, Phù Chẩn, Phù Khê, Quang Trung, Tam Sơn, Tân Hồng, Tiền Phong, Vân Hà, Văn Môn. Năm 1959, thành lập 2 thị trấn Từ Sơn và Yên Viên.

Năm 1961, các xã Liên Hà, Vân Hà, Dục Tú, Quang Trung (Yên Thường), Đông Hội, Mai Lâm, Tiền Phong (Yên Viên), Đình Xuyên, Dương Hà, Ninh Hiệp và thị trấn Yên Viên của huyện Từ Sơn được sáp nhập vào Thủ đô Hà Nội[2], nay là một phần các huyện Đông Anh, Gia Lâm.

Năm 1962, sau khi tỉnh Bắc Ninh hợp nhất với tỉnh Bắc Giang thành tỉnh Hà Bắc, huyện Từ Sơn cũng hợp nhất với huyện Tiên Du thành huyện Tiên Sơn; cùng lúc đó, 2 xã Phú Lâm và Tương Giang của huyện Yên Phong được chuyển về huyện Tiên Sơn quản lý (nay là xã Tương Giang thuộc Từ Sơn, xã Phú Lâm thuộc Tiên Du) và chuyển 2 xã Văn Môn và Đông Thọ của huyện Từ Sơn về huyện Yên Phong quản lý.

Năm 1999, ba năm sau khi tái lập tỉnh Bắc Ninh, huyện Từ Sơn cũng được tái lập, gồm 10 xã: Châu Khê, Đình Bảng, Đồng Nguyên, Đồng Quang, Hương Mạc, Phù Chẩn, Phù Khê, Tam Sơn, Tân Hồng, Tương Giang và thị trấn Từ Sơn.

Năm 2007, thị trấn Từ Sơn được công nhận là đô thị loại IV.

Ngày 24 tháng 9 năm 2008, Chính phủ ban hành Nghị định 01/NĐ-CP[3]. Theo đó:

• Thành lập thị xã Từ Sơn trên cơ sở toàn bộ diện tích và dân số của huyện Từ Sơn
• Thành lập phường Đông Ngàn trên cơ sở thị trấn Từ Sơn và một phần các xã: Đồng Nguyên, Tân Hồng, Đình Bảng, Đồng Quang
• Chia xã Đồng Quang thành 2 phường: Đồng Kỵ và Trang Hạ
• Chuyển 4 xã: Châu Khê, Đình Bảng, Đồng Nguyên, Tân Hồng thành 4 phường có tên tương ứng.

Sau khi thành lập, thị xã Từ Sơn có 6.133,23 ha diện tích tự nhiên và 143.843 người với 12 đơn vị hành chính cấp xã trực thuộc, bao gồm 7 phường và 5 xã.

Ngày 12 tháng 10 năm 2018, Bộ Xây dựng ban hành Quyết định 1293/QĐ-BXD về việc công nhận thị xã Từ Sơn là đô thị loại III trực thuộc tỉnh Bắc Ninh.[4]

Ngày 12 tháng 1 năm 2021, Ủy ban Thường vụ Quốc hội ban hành Nghị quyết 1191/NQ-UBTVQH14 về việc thành lập các phường thuộc thị xã Từ Sơn (nghị quyết có hiệu lực từ ngày 1 tháng 2 năm 2021). Theo đó, thành lập 5 phường: Hương Mạc, Phù Chẩn, Phù Khê, Tam Sơn, Tương Giang trên cơ sở toàn bộ diện tích và dân số của 5 xã có tên tương ứng.[5]

Thị xã Từ Sơn có 12 phường trực thuộc như hiện nay.